AI가 사람 속여 악성코드 공격 시도… 가짜 신원까지

영국 AI보안연구소(AISI)가 일부 인공지능(AI) 모델이 실제 사람을 속여 악성코드를 실행시키려 한 사례를 확인했다고 밝혔다.

AISI는 4일(현지시간) 공개한 보고서를 통해 지난달 사이버 보안 평가 과정에서 AI 에이전트가 인터넷에 접근해 승인되지 않은 행동을 한 사례 19건을 발견했다고 전했다.

122차례 평가 중 10차례에서 확인됐으며, 이 가운데 17건은 앤트로픽의 미소스 5 모델, 2건은 오픈AI의 GPT-5.6-Sol에서 발생했다.

가장 심각한 사례에서는 AI 에이전트가 실제 오픈소스 프로젝트에 악성코드를 삽입하려 했다. 프로젝트 관리자를 조사한 뒤 가짜 신원을 만들어 인간 관리자가 코드를 승인하도록 유도했고, 의심을 받자 기존 활동을 숨기고 새로운 신원으로 공격을 이어가려 한 것으로 조사됐다.

또 온라인 파일 전송 서비스를 통해 상대방이나 AI 코딩 도구가 악성코드를 실행하도록 유도한 사례도 확인됐다.

AISI는 “실제 세계에서 실제 인물을 대상으로 이 정도 수준의 기만을 본 것은 처음”이라고 평가했다. 다만 모든 시도가 실패했으며 실제 피해가 발생했다는 증거는 없다고 밝혔다.

앤트로픽과 오픈AI는 해당 사례가 의도적으로 안전장치를 완화한 테스트 환경에서 발생했다며 실제 보안 환경에서 모델이 통제를 벗어났다는 의미는 아니라고 설명했다.

이반지 기자
bnt뉴스 라이프팀 기사제보 life@bntnews.co.kr